自动化机器学习（AUTOML）比以往任何时候都多，以支持用户确定有效的超参数，神经体系结构，甚至是完整的机器学习管道。但是，由于缺乏透明度，用户倾向于不信任优化过程及其结果，因此手动调整仍然广泛。我们介绍了DeepCave，这是一个交互式框架，可轻松和临时分析和监视最新的优化程序。通过旨在实现完全且可访问的透明度，DeepCave在用户和Automl之间建立了桥梁，并有助于建立信任。我们的框架模块化且易于扩展的自然可以为用户提供自动生成的文本，表和图形可视化。我们显示了DeepCave在示例性检测的示例用例中的价值，在该示例性用途中，我们的框架使您易于识别问题，比较多个运行并解释优化过程。该软件包可在github https://github.com/automl/deepcave上免费获得。
translated by 谷歌翻译
Modern machine learning models are often constructed taking into account multiple objectives, e.g., to minimize inference time while also maximizing accuracy. Multi-objective hyperparameter optimization (MHPO) algorithms return such candidate models and the approximation of the Pareto front is used to assess their performance. However, when estimating generalization performance of an approximation of a Pareto front found on a validation set by computing the performance of the individual models on the test set, models might no longer be Pareto-optimal. This makes it unclear how to measure performance. To resolve this, we provide a novel evaluation protocol that allows measuring the generalization performance of MHPO methods and to study its capabilities for comparing two optimization experiments.
translated by 谷歌翻译
The introductory programming sequence has been the focus of much research in computing education. The recent advent of several viable and freely-available AI-driven code generation tools present several immediate opportunities and challenges in this domain. In this position paper we argue that the community needs to act quickly in deciding what possible opportunities can and should be leveraged and how, while also working on how to overcome or otherwise mitigate the possible challenges. Assuming that the effectiveness and proliferation of these tools will continue to progress rapidly, without quick, deliberate, and concerted efforts, educators will lose advantage in helping shape what opportunities come to be, and what challenges will endure. With this paper we aim to seed this discussion within the computing education community.
translated by 谷歌翻译
This paper computationally demonstrates a sharp improvement in predictive performance for $k$ nearest neighbors thanks to an efficient forward selection of the predictor variables. We show both simulated and real-world data that this novel repeatedly approaches outperformance regression models under stepwise selection
translated by 谷歌翻译
马尔可夫链是一类概率模型，在定量科学中已广泛应用。这部分是由于它们的多功能性，但是可以通过分析探测的便利性使其更加复杂。本教程为马尔可夫连锁店提供了深入的介绍，并探索了它们与图形和随机步行的联系。我们利用从线性代数和图形论的工具来描述不同类型的马尔可夫链的过渡矩阵，特别着眼于探索与这些矩阵相对应的特征值和特征向量的属性。提出的结果与机器学习和数据挖掘中的许多方法有关，我们在各个阶段描述了这些方法。本文并没有本身就成为一项新颖的学术研究，而是提出了一些已知结果的集合以及一些新概念。此外，该教程的重点是向读者提供直觉，而不是正式的理解，并且仅假定对线性代数和概率理论的概念的基本曝光。因此，来自各种学科的学生和研究人员可以访问它。
translated by 谷歌翻译
仅使用单视2D照片的收藏集对3D感知生成对抗网络（GAN）的无监督学习最近取得了很多进展。然而，这些3D gan尚未证明人体，并且现有框架的产生的辐射场不是直接编辑的，从而限制了它们在下游任务中的适用性。我们通过开发一个3D GAN框架来解决这些挑战的解决方案，该框架学会在规范的姿势中生成人体或面部的辐射场，并使用显式变形场将其扭曲成所需的身体姿势或面部表达。使用我们的框架，我们展示了人体的第一个高质量的辐射现场生成结果。此外，我们表明，与未接受明确变形训练的3D GAN相比，在编辑其姿势或面部表情时，我们的变形感知训练程序可显着提高产生的身体或面部的质量。
translated by 谷歌翻译
估计大规模森林AGB和精细的空间决议对于温室气体会计，监测和验证工作以减轻气候变化的范围变得越来越重要。机载LiDAR对于在包括AGB在内的森林结构的属性建模非常有价值，但大多数LiDAR收集都发生在涵盖不规则，不连续的足迹的本地或区域尺度上，导致不同景观细分市场在各个时间点进行拼布。在这里，作为纽约州（美国）全州森林碳评估的一部分，我们解决了利用激光雷达拼布在景观尺度上的雷达拼凑而成的障碍，包括选择培训数据，对预测的区域或覆盖范围的特定模式的调查错误，并绘制与多个量表的现场清单一致。三种机器学习算法和一个集合模型经过FIA场测量，空气传播的激光雷达和地形，气候和心形地理训练。使用一组严格的地块选择标准，选择了801个FIA图，并从17个叶子覆盖范围（2014-2019）的拼布中绘制的共同定位的点云（2014-2019）。我们的合奏模型用于在预测定义的适用性区域（占激光雷达覆盖率的98％）内生成30 m AGB的预测表面，并将所得的AGB图与FIA绘图级别和面积估计值进行比较。我们的模型总体准确（％RMSE 22-45％; MAE 11.6-29.4 mg ha $^{ - 1} $; me 2.4-6.3 mg ha $^{ - 1} $），解释了73-80％的领域 - 观察到的变化，并得出与FIA基于设计的估计值一致的估计值（FIA 95％CI中的估计值的89％）。我们分享实用的解决方案，以使用LIDAR的时空拼布面临的挑战来满足不断增长的AGB映射需求，以支持森林碳会计和生态系统中的应用。
translated by 谷歌翻译
最近关于机器学习和优化集成的研究的扩散。该研究流中的一个膨胀区域是预测模型嵌入式优化，其使用预先接受训练的预测模型来实现优化问题的目标函数，因此预测模型的特征成为优化问题中的决策变量。尽管该领域最近出版物飙升，但这一决策管道的一个方面已经很大程度上被忽视的是培训相关性，即确保对优化问题的解决方案应该类似于用于训练预测模型的数据。在本文中，我们提出了旨在实施培训相关性的限制，并通过集合来展示添加建议的约束显着提高所获得的溶液质量。
translated by 谷歌翻译
我们研究了通过具有整流线性单元（Relu）激活的前馈神经网络建模目标函数的优化问题。最近的文献已经探讨了单一神经网络的使用来模拟目标函数内的不确定或复杂元素。然而，众所周知，神经网络的集合产生更稳定的预测，并且具有比具有单个神经网络的模型更好的普遍性，这表明在决策管道中应用神经网络的集合。我们研究如何将神经网络集合纳入优化模型的客观函数，并探索随后的问题的计算方法。我们基于现有流行的大量M $配方提供了一种混合整数线性程序，以优化单个神经网络。我们为我们的模型开发了两个加速技术，首先是一种预处理程序，用于拧紧神经网络中的关键神经元的界限，而第二个是基于弯曲分解的一组有效的不等式。我们解决方案方法的实验评估在一个全球优化问题和两个现实世界数据集中进行;结果表明，我们的优化算法在计算时间和最优性间隙方面优于最先进的方法的适应。
translated by 谷歌翻译
QNNVerifier是第一个用于验证神经网络实现的开源工具，以考虑其操作数的有限字长（即量化）。通过采用最先进的软件模型检查（SMC）技术来实现对量化的新颖支持。它将神经网络的实现基于可满足模数理论（SMT）来将神经网络的实现到一阶逻辑的可解除片段。通过给定硬件确定的精度，通过直接实现来表示固定和浮点操作的影响。此外，Qnnverifier允许指定定制安全性能，并使用不同的验证策略（增量和K-Incuction）和SMT求解器来验证所产生的模型。最后，QNNVerifier是第一个通过间隔分析和非线性激活功能的离散化来组合不变推论的工具，以加快级别验证神经网络的级数。 qnnverifier的视频呈现可在https://youtu.be/7jmgol41zty中获得
translated by 谷歌翻译